python爬虫学习（循环爬取网页链接）

#python爬虫学习（循环爬取网页链接）| 来源: 网络整理| 查看: 265

循环爬取网页链接基本原理：

爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。基本过程图：在这里插入图片描述

重点：从访问的页面中抽取新的url链接

可以用正则表达式匹配链接

【本文地址】

今日新闻